Nguồn gốc của Linux Foundation có thể được truy nguồn từ năm 2000 khi Open Source Development Labs (OSDL) được thành lập. OSDL là một tổ chức phi lợi nhuận được hỗ trợ bởi một tập đoàn toàn cầu nhằm "đẩy nhanh việc triển khai Linux cho máy tính doanh nghiệp" và "trở thành trung tâm chính cho ngành công nghiệp Linux".."[11]

Năm 2003, Linus Torvalds, người tạo ra hệ điều hành Linux tự do đã tuyên bố ông sẽ tham gia tổ chức như một thành viên của OSDL để làm việc toàn thời gian trên các phiên bản Linux tương lai.[12]

Năm 2007, OSDL hợp nhất với Free Standards Group, một tổ chức khác thúc đẩy việc áp dụng Linux. Vào thời điểm đó, Jim Zemlin, người đứng đầu FSG, đã tiếp quản làm giám đốc điều hành của The Linux Foundation.[13]

Vào ngày 11/9/2011, website của Linux Foundation đã bị gỡ xuống do sự vi phạm được phát hiện 27 ngày trước, bao gồm nhưng giới hạn cho tất cả tên miền phụ đang hoạt động của The Linux Foundation, như Linux.com.[14] Các phần chính bao gồm OpenPrinting[15]vẫn không kết nối vào ngày 20/10/2011. Quá trình khôi phục hoàn tất vào ngày 4/1/2012(mặc dù một trang, the Linux Developer Network,sẽ không được phục hồi).[16]